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Я — Гриша, Соге ппазгисиге @ ВКонтакте 


За5Ноизе — наша система мониторинга 


План 


Е 


Про мониторинг аЁ 5са/е 

Как эффективно собирать и хранить метрики 
Как не дать сломать мониторинг 

Как устроен За Ноизе 

Анонс! 


Мониторинг 


сп _ЕЕТЬ { 
сочпЕгу ГИ 
геёлоп = м$кК 
о$ = апагола 
р = 9.239 


Без мониторинга 


ь 


9 
> 4 
ь. 
2 
х 
р = 
Г 


Мониторинг 


Обязан 
работать всегда 


Обязан 
работать быстро 


® Низкая задержка 
® Высокое разрешение 
® Интерактивность 


Мониторинг? РготеПеи$ 


х 


{5} {2} {9} {9} 
{8} {а {9 {9} 


Хх 
2 @й © © 
$ = ® = 


Рготе{Пеи$ не масштабируется 


350 000 000 


метрик в секунду с 15 000 серверов собирает ЗаНоизе 


Унести все, за 1 секунду — 
каждую секунду 


12 


ны путь 


Метрики прекрасно сжимаются 


сап_ЕЕТЬ { сп _ЕЕРЬ{т$К} < (3М, Уаф) 
гегтоп = м$К/зрЬ/п$К сп _ЕЕРЬ{зрЬ} < (2М, уаф) 

} < (соипЕ: 1, уа\че: а%*) сап_ЕЕРЬ{п$К} < (1М, уаф) 

6М ВР$ 6М ВР$ 

бМ записей в секунду 3 записи в секунду 
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Многоуровневая агрегация 


И ПИКА | 
| 
' эпага №, гер\1са 2 ' 


Конвейер записи 


Конвейер записи: исторические данные 


Не дать сломать 
мониторинг 


Метрики прекрасно сжимаются 


сап_ЕЕТЬ { сп _ЕЕРЬ{т$К} < (3М, Уаф) 
гегтоп = м$К/зрЬ/п$К сп _ЕЕРЬ{зрЬ} < (2М, уаф) 

} < (соипЕ: 1, уа\че: а%*) сап_ЕЕРЬ{п$К} < (1М, уаф) 

6М ВР$ 6М ВР$ 

бМ записей в секунду 3 записи в секунду 
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Метрики прекрасно разжимаются 


фоо{...} 


100 Меайт/с 


(%/ 7 


Роо{..., $зегуег} 


100 Гбайт/с 


© 


Метрики ярекрасне бесконечно разжимаются 


Роо{.... Зизег_1а, $ии1} 


100 Тбайт/с 


& 


ре 


© 
Ка{Ка не спасет И 


А _ 
Ро 
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Боремся с перегрузкой 


са! дата > /Аеу/пий 


О ОЙ О а И ИН 


реет 


се еениГ виа) 
Гы} И 9] 
еее 

'__ бюджет: | данные 


а а ыы еее а а а ана ыы БЫ аь Бане БЫ мы еБТЫЙ 


| ВИАН 
| 


г===>теее=еееее>===-л 


| РРР | 
| 


ИРА 


м -------4 
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Семплирование 


С и ии о Бао каруааня 


| ея Ба. 


ЕТ 


Г 
Г 
Г 

р 1 

Г а 
Г Г 
Г Е ОА" Г 
Г Г 
Г 
Г 
Г 
Г 
р ебет 


НВ | 


ее еее ей 


г --------------- 


ИР) 
Гея рен а] 
Гаев 


Пл е Ер Е а а вы ав Ч ЗЕ В а в в БЫ осы ве Е Е Е ыь БЫ ЗЫЫ БЫ ТЫВ 


реет 


РРР ! 


ИИ 


ИДИ | 
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Не дать сломать менитерине ничего 


(Ё 


Бюджетируем ресурсы 
о Сеть 
о Диск 
о СРО 


. Честно распределяем 


между пользователями 


. Авто-семплируем 


при превышении бюджета 


“ГооКк Ма, 
а Наму-Ауа!ае 
Мий-ТепапЕ Зузет!” 


$% 
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Как устроен З{а$Ноизе 


ЗаНоизе 


й 7 наейт ^ И ИА 
= ПИШИ и = 
ИИ 7 р 7 7 7 


ат5пойи$е. агент 
и. — 
| # ЛО р И- р й #7 г Й - / /. — 
| Г т | ИАС 
| Й х, 77 | рых ры 
у 77 7 7) 
| й 2 7 72 Я | 7 7 | 
аци 
ание 


+ авто-семплиров 


® Локальное хранение 


З(а$Ноцз$е: агрегатор 


Агрегация между агентами 
Бюджетирование + авто-семплирование 
Приоритизация 

Васкргеззиге 
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З{аНоц$е: база 


ый 
® о ыполнение зап росов 


СйскНои$е как основное хранилище 


® Эксплуатация умеет 
в С!скКНоизе 
СЛскКНоизе масштабируется 
СйскНоизе не тормозит "\* 
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Схема хранения 


{те 
01:14:21 
01:14:21 
01:14:21 
01:14:21 


01:14:21 


тенис 
сап_ КН 
сап_ НЮ 
сап_ НЮ 
сап_ НЮ 


сап_ НЮ 


4а91 
тк 
тк 
П$К 
П$К 


эрЬ 


4а92 
апаго!а 
10$ 
апаго!а 
10$ 


апаго!а 


сои 


3015682 


936581 


1025718 


315981 


2390001 


е Только 3 таблицы 
о Секундная 
о Минутная 
о Часовая 

® Голько 16 тегов 

е Числа вместо строк 
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З1а$Ноицз$е: АР + Ц 


8 


ар1_ те{по4$: соипЕ/зес 


Вызовы АР! (без учета ехесце.* вызовов) 


Весеме зЕаКи$ 


20:00 
22/11/2022 
те 
Г] ассоипЕ 
[Г] теззадез 


Г) зваЕ$ 


батрИпо: вещие) / адагедаеог 


00:00 
23/11 


12:00 


16:00 


«р [ваш [в |=] 


СагфтаЩу — Маррта (аз С5У  ЕЗИ 


16:00 


ар!_теод$ У 
соип ес У 
24/11/2022 Я 16:01:43 [©) [$] 
Аи у Тор 5 У Г *. 


епмгопгтелпЕ У |. е = 


группа методов У |. Г ®Х=. 
метод У | в. ео оз 
версия У || в. е)з 
версия птог У |. е)з 
платформа У |. ФЗ 


:0023/11 00:51 30  :0000:52 30 :0000:53 
356 | 


306 


256 


206 


30 —:0000:54 


:30 


:0000:55 —:30 


156 


106 


56 


0 
:00 23/11 00:51 :30 


:00 00:52 


30 —:0000:53 


30 —:0000:54 


:30 


:00 00:55 


:30 


300к 


200 — 


100к 


0 оо 
:0023/11 00:51 :30 


:0023/11 00:51 :30  :0000:52 :30 :0000:53 :30 :0000:54 :30 :0000:55  :30 


г. | | 
ИЩИ! 


и ‚ | ыы и: ИТ | 
| ИИ | ыы НИ ы 


600к 


| т т | В | ‚ | й | ь 
м Г | Ц. | НУ т ИД | Ти Ш Ш В С НА Ве 


400к ПАША 


З4а$Ноиз$е сегодня 


1 секунда 
разрешение 


5 секунд 
задержка 


4 года 
данных 


350 000 000 
метрик в секунду 


15 000 


серверов-источников 
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За $Ноизе — Ореп $Зоигсе 


дцпиб.сот/иКсот/ 
Зазпоизе 
МРЕ 2.0 
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ЗаНоизе 


дцпиб.сот/иксот/$апоизе Григорий Петросян 


уК.сот/ар 
17 15) 7 < |. те/рогедогу 


Запасные слайды 


Планы 


е О1 2023 
о РгюомОЁ 
о События 
е 022023 
о Логи 
е ОЗ 2023 
о Экземпляры 
е 042023 
о Встроенный алертинг 
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АциБиНоп 


е Эмоджи: ОрепМоп, СС ВУ-ЗА 4.0 
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Мониторинг: купить или разработать 


Ежегризе Ме МконмаМетс$ 
А тчегриье 2 


А $е 

{па й . 

оре М/ан! Р!еа5е д ме шНихОВ 
Сга! а сНапсе & 


1пЯохОВ С!оцд 15 {пе тоз{ ромме и! {те зепез дайаБазе 


— Нее 10 $ай, еазу 10 изе, {а5\, зегуейез$, е!а: 


_ Е й} Мопкоппв о МопКогпв 
СМУ АНего Сеп (Мом) 


й} Мотну ацай апа апау#с$ 


| Ведчез1 а ае 


Кедие${ а Оцо{е 


Сооде 
Гасебоок 
Тмлкег 
Обег 
Мейх 


Яндекс 


Мопагсп 
СопЙа 
Сискоо 
МЗ 

А|Наз 


Те] [®] 11 ®] а 
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З4а$Нои$е и СИсКНои$е 
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Схема таблицы 


СКЕАТЕ ТАВЕЕ $+а&зПочзе_\уа\ие ( 


%1те БафеТ1те, 

тефгтс 132, 

Та=0 .. фа=15 1132, 

соипе АвогерафеЕипс {Топ (зит, Е\оа%64), 
ит АзсгезаеРиптс Топ (зит, Е\оа*64), 


ЕМСТМЕ = Арргерае1пёМегвеТгее() 
ОВОЕК ВУ (мефглс, %1те, +а20, .., %а215) 
РАКТТТТОМ ВУ +о5$фаг+ОТВау (+1те) 
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Только 16 тегов — хватит всем"\ 


СКЕАТЕ ТАВЕЕ $+а&зПочзе_\уа\ие ( 


{1те БафеТтме, 
тефитс Тп{32, 
Тпе32, 
(ее ао АвсгерафеЕипс {Топ (зит, Е\оа%64), 
5ит АзсгезаеРиптс Топ (зит, Е\оа*64), 


ЕМСТМЕ = Арргера*1пёМегвеТгее() 
ОКОЕК ВУ (тефглс, ф71те, {а=0, .., Ъа=15) 
РАКТТТТОМ ВУ +о5фаг*ОТВау (+1те) 
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Числа вместо строк — 4х быстрее 


СКЕАТЕ ТАВЕЕ $+а&зПочзе_\уа\ие ( 


{1те БафеТтме, 

тефгтс 

Та=0 ... фа515 Ти*{32, 

(ее ое АвогерафеЕипс {Топ (зит, Е\оа%64), 
ит АзсгезафеРитпс Топ (зит, Е\оа*64), 


ЕМСТМЕ = Арргера*1пёМегвеТгее() 
ОКОЕК ВУ (тефглс, ф71те, {а=0, .., Ъа=15) 
РАКТТТТОМ ВУ фо5фаг%ОТРВау ({71те) 
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Только 3 таблицы — аомптзатрИпа + ТТЁ 


СКЕАТЕ ТАВЬЕ $фаф$Ночзе_ма\ие ИИ ( 


{1те БафеТтме, 

тефитс Тп{32, 

Та=0 ... фа515 ПЕЗа, 

(ее ое АвогерафеЕипс {Топ (зит, Е\оа%64), 
ит АзсгезаеРиптс Топ (зит, Е\оа*64), 


ЕМСТМЕ = Арргера*1пёМегвеТгее() 
ОКОЕК ВУ (тефглс, %1те, {а=0, .., Ъа=15) 
РАКТТТТОМ ВУ фо5ЗфагОТау@ШЭ) 


2 


Только 1 скан — оптимально 


СКЕАТЕ ТАВЕЕ $+а&зПочзе_уа\1ие_1т ( 


{1те БафеТтме, 

тефитс Тп{32, 

Та=0 ... фа515 ПЕЗа, 

(ее ое АвогерафеЕипс {Топ (зит, Е\оа%64), 
ит АзсгезаеРиптс Топ (зит, Е\оа*64), 


ЕМСТМЕ = Ассгеса{1пМегреТгее() 
ОКОЕК ВУ (тефглс, ф1лте, о а са) 
РАКТТТТОМ ВУ +о5$фаг*ОТВау (+1те) 
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\1.0 


